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Beschreibung 



Verfahren zur teilweisen Erhaltung der Paketreihenfolge bei 
verbindungsloser Paketvermittlung mit alternativem Routing 

Der Anmeldungsgegenstand betrifft ein Verfahren zur Erhaltung 
der Paketreihenfolge bei verbindungsloser Paketvermittlung 
mit alternativem Routing fUr ein Netz mit mehreren Rout em. 

Netze mit verbindungsloser Paketvermittlung (z.B. das heutige 
Internet) haben im Regelfall keine MSglichkeit, beim Trans- 
port durch das Netz die Reihenfolge von Paketen zu erhalten, 
d.h. am Ausgang des Netzes dieselbe Reihenfolge anzubieten ' 
wie am Eingang, wenn innerhalb des Netzes beispielsweise zur 
Lastverteilung die Route zu einem Ziel far jedes Paket indi- 
viduell gewahlt werden kann. 

Fehler in der Paketreihenfolge konnen beispielsweise den 
Durchsatz von Verbindungen unnotigerweise verringern, wenn 
dieser durch das Protokoll TCP (Transmission Control Proto- 
col) geregelt wird. 

Um das Netz nicht zu tlberlasten und eine faire Aufteilung der 
gesamten Bitrate auf viele Verbindungen zu erreichen, regelt 
ein TCP-Sender seine Senderate (durch Verringerung des Sende- 
fensters) nach Erkennen eines Paketverlustes herunter. Auch 
eine im Netz vertauschte Paketreihenfolge fUhrt in der Praxis 
zu wiederholten Bestatigungen mit derselben Reihenfolgenum- 
mer, so dass TCP auch hier die Rate reduziert. 

Alternatives Routing auf Paket ebene, d. h. Verkehrsverteilung 
von Paketen eines Flows, wird aus den o.g. GrUnden heute in 
der Regel nicht eingesetzt. Um die o.g. Probleme zu vermei- 
den, wird beispielsweise bei MPLS (Multi Protocol Label Swit- 
ching) alternatives Routing auf der Ebene (aggregierter) 
Flows vorgeschlagen, d.h. alle Pakete, die zur selben Verbin- 
dung gehSren oder zwischen deraselben Paar von Netzknoten aus- 
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getauscht werden, werden auf demselben Weg durch das Netz ge- 
schickt. Hierzu muss allerdings in jedem Netzknoten entspre- 
chende Verbindungs information hinterlegt werden, z. B. indem 
Pfade konfiguriert werden (statisch) , oder indem fUr jede 
Verbindiing zunachst ein Pfad aufgebaut wird (dynamisch, aber 
mit viel Aufwand verbunden und daher nicht unbedingt skalier- 
bar filr groJie Netze) . Die Anzahl der abzuspeichernden Flows 
hangt hier sehr stark von der Dauer der Flows ab und kann bei 
langen Flows mit jeweils wenig Verkehr sehr grofi werden. 

Desweiteren kSnnen am Netzausgang Einrichtungen eingesetzt 
werden, die die Paketreihenfolge wieder herstellen, was al- 
lerdings in IP (Internet Protocol) -Net zen eine nicht-triviale 
Aufgabe ist, da IP-Pakete in der Kegel keine fiir solche Zwe- 
cke verwendbare Reihenfolgenimimer besitzen. Das „Identity*- 
Feld im Paketkopf identif iziert ein Paket zwar eindeutig, 
wird aber nicht unbedingt innerhalb jeder TCP-Verbindung oder 
jeder UDP (User datagram protocol) -Assoziation jeweils urn 1 
erhaht. Um die auf Oktett-Ebene angegebene TCP-„Sequence Num- 
ber' auszuwerten, muss der Paketkopf weiter ausgewertet wer- 
den, da sich diese Nummer von einem TCP-Segment zum nSchsten 
um die Anzahl der Bytes im Segment erhoht. Da die Segmente 
auIJerdem auch innerhalb einer Verbindung unterschiedliche 
Mengen von Nutzinformation tragen konnen, kann eine Resequen- 
ziereinrichtung nicht wissen, wieviele Pakete zwischen zwei 
anderen empfangenen Paketen noch fehlen, wenn deren Sequenz- 
nummern nicht aneinander anschlieBen. Zusatzlich wUrden beim 
Einsatz einer Resequenziereinrichtung Paketverluste eine Ver- 
zogerung des Ausspielens der Pakete bewirken und damit den 
„Fast Retransmit* -Mechanismus von TCP auBer Kraft set zen, was 
die Bandbreitenregelung in TCP zum starken Herabregeln veran- 
lassen wtirde und damit im Vergleich zum Abliefern auBerhalb 
der Reihenfolge keinen Vorteil brSchte. 

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren an- 
zugeben, das in einem Netz mit multiplen WegemOglichkeiten 
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durch Paketiiberholungen bedingte Performance-Degradationen 
veriaindert . 

Die Aufgabe wird durch die Merkmale des Anspruchs 1 oder des 
Anspruchs 4 gelost. 

Durch die Erfindung wird die Haufigkeit von Paketiiberholun- 
gen, insbesondere far hochbitratige Verbindungen, stark ver- 
iaindert. Die Haufigkeit von Vertauschungen in der Paketrei- 
henfolge wird durch die o.g. technischen Merkmale verringert. 
Die maximale Anzahl von Flow-Eintragen in der Flowtable FT 
ist durch die Anzahl von im Router abzuspeichernden Paketen 
vorgegeben. Durch die Beschrankung auf im Router gespeicherte 
Pakete wird somit die Menge an Zustandsinf ormationen im Rou- 
ter gegeniiber LSsungen wie MPLS oder IP Switching, die ftir 
jeden existierenden Flow einen Zustand halten mUssen, stark 
verringert. Aufierdem wird im Gegensatz zu MPLS oder IP Swit- 
ching keine Signalisierung zwischen den Netzknoten benotigt, 
so dass insbesondere bei kurzen Flows keine unnotige Verzoge- 
rung auftritt. Die Beschrankung auf die kurze Lebensdauer der 
Zustandsinformation hat dartiberhinaus den Vorteil, dass die 
Flexibilitat beim alternativen Routing zur Lastverteilung im 
Metz gewahrleistet bleibt, so dass ein Kompromiss zwischen 
der absoluten Einhaltung der Paketreihenf olge und optimaler 
Lastverteilung erreicht werden kann. Verbindungen, die mit 
einer hohen Rate senden und von denen stets mindestens ein 
Paket im Router zwischengespeichert ist, werden keine Reihen- 
folgevertauschungen erfahren. Verbindungen, in denen nur sel- 
ten ein Paket gesendet wird, werden auch keine Probleme be- 
kommen, wenn die Lauf zeitunterschiede zwischen den verschie- 
denen im Netz gewahlten Pfaden im Vergleich zur Zeit zwischen 
zwei Paketen klein sind. Insbesondere fur Verbindungen, in 
denen Daten btlschelweise gesendet werden' (z.B. World Wide 
Web) ist die beschriebene L5sung daher vorteilhaft. 

Vorteilhafte Weiterbildungen der Erfindung sind in den Unter- 
anspruchen angegeben. 
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Die Erfindung wird im folgenden als Ausfuhrungsbeispiel in 
einem zum Verstandnis erforderlichen Umfang anhand von Figu- 
ren naher erlautert. Dabei zeigen: 

5 

Fig 1 eine vereinfachte Darstellung eines IP-Netzes,* 
Fig 2 eine schematische Darstellung eines IP-Routers, 
Fig 3 eine schematische Darstellung eines erf indungsgemaJien 
IP-Routers und 

10 Fig 4 eine schematische Darstellung des Inhaltes der Flcw- 
Tabelle FT. 

In den Figuren bezeichnen gleiche Bezeichnungen gleiche Ele- 
mente . 

15 

In Figur 1 ist ein einf aches Netz dargestellt, in dem zwei 
Endeinrichtungen El und E2 tlber mehrere Wege laiteinander ver- 
bunden sind, wobei die Router Rl bis R5 eine verbindungslose 
Paketvermittlung zwischen den Links (Leitungen) LO, LI, L2, 

20 . . . L7 vornehmen sollen. Figur 2 zeigt einen Teil des IP- 
Routers Rl, wie er nach dem Stand der Technik aufgebaut ist, 
fur eine Obermittlungsrichtung (von LO hin zu LI und L2) . 
Wenn ein Paket ankommt, wird es klassif iziert, die Ziel-IP- 
Adresse wird ausgelesen und fur diese Adresse wird aus der 

25 Routing-Tabelle RT der nachste Router auf dem Weg zum Ziel 
bestiimtit. Die Routing-Tabelle erhalt aktuelle Routing- 
Informationen vom Routing-Protokoll-Prozessor RP, der tiber 
ein Routing-Protokoll Erreichbarkeitsinf ormationen mit ande- 
ren Routern austauscht. In der Regel wird der ^shortest 

30 path^, also der (nach einer vorgebbaren Metrik) kurzeste Weg 
zum Ziel als einziger Weg in die Routing-Tabelle RT eingetra- 
gen. 

Im Falle der Lastverteilung auf mehrere alternative Routen 
35 ist die Routing-Tabelle erweitert und enthalt neben dem 

nachsten Knoten auf dem ktirzesten Pfad noch weitere nachste 
Knoten fUr weitere zulassige Pfade zum Ziel. Bei jedem ankom- 
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menden Paket kann nun aufgrund eines Lastverteilungsalgorith- 
mus' ein zulassiger Ausgangspfad zma Ziel gewahlt werden, an 
den das Paket dann weitergeleitet wird. 

ErfindungsgemaB wird vorgeschlagen, im Router eine Tabelle 
von Flow- Oder Verbindungsinf ormationen zu halten (im Folgen- 
den nur noch als Flow-Information FX bezeichnet) , die fUr je- 
des im Router befindliche (also in einer der Warteschlangen 
Ql, Q2 Oder Q3 zwischengespeicherte oder gerade im Koppelnetz 
vermittelte) Paket die gewahlte Route speichert. Verlasst 
(bei dieser AusfUhrungsform) das Paket den Router, dann wird 
die Information wieder geloscht. Kommt ein neues Paket mit 
derselben FI in den Router, dann wird es auf demselben Pfad 
weitergeleitet wie das letzte Paket mit derselben FI . 

Die Entscheidung, auf welchem der alternativen Wege ein Paket 
weitergeleitet wird, wird demnach nur dann neu getrof f en, 
wenn kein Paket mit derselben FI wie ein neu angekommenes Pa- 
ket sich bereits im Router befindet, Dadurch wird die Haufig- 
keit von Paketiiberholungen fUr hochbitratige Verbindungen 
stark vermindert. 

Der entsprechende Router in Figur 3 enthait zusStzlich zu den 
Komponenten des Routers aus Figur 2 eine Flow-Tabelle FT, in 
der fur alle noch im Router befindlichen und bereits klassi- 
fizierten Pakete der ausgewahlte next hop abgelegt ist. Fur 
jedes neu eintreffende Paket wird die Zugehorigkeit zu einem 
der Flows in der FT geprUft. Falls ein Paket des entsprechen- 
den Flows in der FT verzeichnet ist, wird dieselbe Auswahl 
des next hop auch ftir das neue Paket getrof fen. Falls kein 
Paket desselben Flows in der FT verzeichnet ist, wird anhand 
der Regeln des alternativen Routing und der Lastverteilung 
ftir dieses Paket ein next hop ausgewahlt, das Paket in Rich- 
tung dieses nachsten Knotens weitergeleitet und die Flow- 
Inforaation zusaramen mit dem gewahlten next hop in der FT ab- 
gespeichert. Figur 4 zeigt als Beispiel, wie eine solche FT 
aussehen kann. Die FT enthait ftir jeden Flow i, von dem sich 
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Pakete in einer Ausgangswarteschlange des Routers befinden, 
die Anzahl ni der Pakete in den Warteschlangen, die Flowken- 
nungsinformationen (source IP, destination IP, source Port, 
dest. Port, Protocol) und den fUr diesen Flow gewahlten next 
5 Hop. Der Paketzahler ftir jeden Flow wird mit jedem ankommen- 
den Paket fiir diesen Flow urn 1 erhoht und mit jedem aus dem 
Router abgehenden Paket fiir diesen Flow um 1 verringert. Wenn 
der Zahler dabei den Wert 0 erreicht, wird der Eintrag aus 
der Tabelle geloscht. 

10 

Weitere Ausgestaltungen: 

1. Das Prinzip kann fiir jede Warteschlange einzeln, auf eine 
Teilmenge oder auf alle Puffer in einem Gerat angewendet ' 
werden, falls ein IP-Router beispielsweise Ein- und Aus- 
15 gangspuffer oder eine Kombination solcher Puffer mit einem 

zentralen Puffer einsetzt. Es sind folgende Alternativen 
mbglich: 

a) getrennte FT und getrennte Paket zahlung. In diesem Fall 
bezieht sich die FT nur auf die Warteschlange, an deren 

20 Ausgang die Entscheidung zur Weiterleitung auf einen be- 

stimmten Weg getroffen wird. Eventuell dahinter angeordne- 
te Ausgangspuffer und die Pakete darin haben keinen Ein- 
fluss mehr auf die Wegeentscheidung ftir neue Pakete. 

b) gemeinsame FT und getrennte PaketzSihlung. Die FT ent- 
25 halt in diesem Fall einen Paketzahler pro Warteschlange, i 

der jeweils bei Ein- und Austritt eines Paketes in die / 
aus der Warteschlange aktualisiert wird. Die Forwarding- 
Entscheidung wird per Flow gespeichert. 

c) gemeinsame FT und gemeinsame Paketzahlung. Die FT ist 
30 nach Figur 4 strukturiert, wobei ni sich auf die Summe al- 

ler Pakete des Flows i in alien betrachteten Warteschlan- 
gen bezieht. 

Die Forwarding-Entscheidung wird dabei auch durch die Pa- 
kete eines Flows noch beeinflusst, die die Ent schei dungs - 
35 stelle bereits passiert haben. Diese Option b)/c) ist ge- 

geniiber a) vorzuziehen. 
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2. IP-Router haben in der Kegel eine Ausgangswarteschlange 
pro Ausgangslink, wobei der Ausgangslink eine physikali- 
sche Netzverbindung oder ein logischer Kanal innerhalb ei- 
ner physikalischen Verbindung sein kann (z.B. ein ATM- VP 
5 {Asynchronous Transfer Mode-Virtual Path) oder -VC (Virtu- 

al Channel), eine Wellenlange oder ein STM (Synchronous 
Transport Modul) -Kanal) . In Backbone-Rout ern ist in der 
Regel jedem dieser Kanale genau ein nachster IP-Router zu- 
geordnet. In lokalen Netzen kann dagegen ein Ausgangskanal 
10 auch mehrere nachste IP-Router erreichen, wenn der Kanal 

z.B. ein shared medium (Ethernet 6.^.) ist. In diesem Fall 
gibt es die Optionen, entweder den Ausgangskanal oder - 
wie in Figur 4 angedeutet - den „next hop^ fur einen. Flow 
in der Flow-Tabelle FT einzutragen. Letztere Moglichkeit 
15 erscheint sinnvoller; aus anderen Grtinden (z.B. interne 

Struktur des Routers) kann es aber n5tig sein, den Aus- 
gangskanal als Ersatz ftir den „next hop^ einzutragen. 
3. In der Beschreibung zu Figur 3 ist vorgesehen. Flows aus 
der Flow-Tabelle auszutragen, sobald sich kein entspre- 
chendes Paket mehr im Router befindet. Alternativ kann 
auch ein Ausaltern vorgesehen werden, bei dem in der Flow- 
Tabelle FT in Figur 4 anstelle der Anzahl ni von Paketen 
eines Flows ein Zeitstempel fiir die letzte Paketankunft 
gespeichert wird. Die Eintr^ge werden dann periodisch oder 
nach Ablauf einer Zeitschranke nach der Ankunft aus der 
Tabelle ausgetragen, wenn der Zeitpunkt, an dem das letzte 
Paket eines Flows beobachtet wurde, bereits mindestens ei- 
ne vorzugebende Zeit zurtickliegt . 

Falls ein Router mit mehreren Verkehrsklassen umgeht, kann 
das Verfahren fur alle oder nur ftir einen Teil der Ver- 
kehrsklassen eingesetzt werden. 
5. Eine Zeitschranke nach Option 3 kann adaptiv in Abhangig- 
keit anderer Parameter eingestellt werden. Hierfur komraen 
insbesondere Parameter in Frage, die die Verkehrsvertei- 
35 lung bestimmen (z.B. die Haufigkeit ftir die Wahl eines Al- 

ternativweges) . 



20 



30 



m 
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Patentansprtiche 

1. Verfahren zur Erhaltung der Paketreihenf olge bei verbin- 
dungsloser Paketvermittlung mit alternativem Routing ftir ein 

5 Netz mit mehreren Routern 
demzufolge 

- ftir ein in einem Router ankomitiendes Paket eine Route aus- 
gewahlt wird, 

- fur den zugehorigen flow des Pakets die ausgewahlte Route 
10 in dem Router gespeichert wird, 

- das Paket auf die ausgewahlte Route weitergeleitet wird, 

- ein neu ankommendes Paket, das dem selben flow zugehCrt, 
auf die gespeicherte Route weitergeleitet wird und 

~ fur den Fall, dass sich ftir einen flow kein zugehoriges 
15 Paket in dem Router befindet, die ausgewahlte Route in dem 

Router gel5scht wird. 

2. Verfahren nach Anspruch 1 
dadurch gekennzeichnet , dass 

20 als Kriteriijm, ob sich fur einen flow ein Paket in dem Router 
befindet, die Anzahl der dem flow zugehorigen Pakete in einer 
Warteschlange des Routers ausgewertet wird. 

3. Verfahren nach Anspruch 2 
25 dadurch gekennzeichnet, dass 

als Kriterium, ob sich fur einen flow ein Paket in dem Router^ 
befindet, die Anzahl der dem flow zugehorigen Pakete in genau 
einer Warteschlange des Routers ausgewertet wird. 

30 4. Verfahren zur Erhaltung der Paketreihenf olge bei verbin- 
dungsloser Paketvermittlung mit alternativem Routing ftir ein 
Netz mit mehreren Routern 
demzufolge 

- fur ein in einem Router ankommendes Paket der Ankunfts- 
35 zeitpunkt in dem Router gespeichert wird, 

- ftir das in dem Router ankommende Paket eine Route ausge- 
wahlt wird. 
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- fiir den zugehorigen flow des Pakets die ausgewahlte Route 
in dem Router gespeichert wird, 

- das Paket auf die ausgewahlte Route weitergeleitet wird, 

- ftir den zugehorigen flow eines neu ankoiraaenden Pakets der 
Ankunftszeitpunkt aktualisiert wird 

- ein neu ankommendes Paket, ftir dessen flow eine Route ab- 
gespeichert i^t, auf die gespeicherte Route weitergeleitet 
wird und 

- fur den Fall, dass seit dem Ankunf tszeitpunkt des zuletzt 
angekommenen Pakets eines flows eine vorgegebene Zeitdauer 
abgelaufen ist, die Abspeicherungen ftir den flow gel5scht 
werden . 

5. Verfahren nach Anspruch 4 
dadurch gekennz eichne t , dass 

die Abspeicherungen fur die einzelnen flows periodisch ge-, 
loscht werden. 

6. Verfahren nach Anspruch 4 oder 5 
dadurch gekennz eichnet , dass 

die vorgegebene Zeitdauer nach Massgabe eines die Verkehrs- 
verteilung bestimmenden Kriteriums eingestellt wird. 

7 . Verfahren nach einem der vorstehenden Ansprtiche 
dadurch gekennz eichnet , dass 

die Abspeicherungen fur die einzelnen flows in einer flow- 
table (FT) erfolgen. 




m 
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Z u s ammen f a s s un g 

Verfahren zur teilweisen Erhaltung der Paketreihenfolge bei 
verbindungs loser Paketvermittlung mit alternativem Routing 

5 

In einem verbindungslosen Netz mit mehreren Routern^ bei dem 
die Pakete eines Flows liber mehrere Wegemoglichkeiten weiter- 
leitbar sind, wird zur Erhohung der Einhaltung der Paketrei- 
henfolge vorgeschlagen ein in einem Router ankommendes Paket 

10 auf dieselbe Route weiterzuleiten wie ein gerade sich im Rou- 
ter bef indliches, zum selben Flow gehGrenden Paket oder ein 
in dem Router ankommendes Paket, das innerhalb eines Zeit- 
fensters in dem Router ankommt, das von einem zum selben Flo 
geh5renden Paket geoffnet wurde, auf derselben Route weiter-" 

15 geleitet wird wie das das Fenster offnende Paket. 




Fig 3 



# 
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Bezugszeichenliste 

Links, Verbindungsleitungen (nur eine Richtung 
gezeigt) 
Koppelnetz 
Warteschlangen 
Routing Table 

Routing-Protokoll-Prozessor 
Flow Table 

User datagram protocol 




LO, LI, L2 

5 KM 

Ql, Q2, Q3 
RT 
RP 
FT 

10 UDP 
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